Graph neural networks (GNN) have become the default machine learning model for relational datasets, including protein interaction networks, biological neural networks, and scientific collaboration graphs. We use tools from statistical physics and random matrix theory to precisely characterize generalization in simple graph convolution networks on the contextual stochastic block model. The derived curves are phenomenologically rich: they explain the distinction between learning on homophilic and heterophilic graphs and they predict double descent whose existence in GNNs has been questioned by recent work. Our results are the first to accurately explain the behavior not only of a stylized graph learning model but also of complex GNNs on messy real-world datasets. To wit, we use our analytic insights about homophily and heterophily to improve performance of state-of-the-art graph neural networks on several heterophilic benchmarks by a simple addition of negative self-loop filters.
translated by 谷歌翻译
In recent years, neural image compression (NIC) algorithms have shown powerful coding performance. However, most of them are not adaptive to the image content. Although several content adaptive methods have been proposed by updating the encoder-side components, the adaptability of both latents and the decoder is not well exploited. In this work, we propose a new NIC framework that improves the content adaptability on both latents and the decoder. Specifically, to remove redundancy in the latents, our content adaptive channel dropping (CACD) method automatically selects the optimal quality levels for the latents spatially and drops the redundant channels. Additionally, we propose the content adaptive feature transformation (CAFT) method to improve decoder-side content adaptability by extracting the characteristic information of the image content, which is then used to transform the features in the decoder side. Experimental results demonstrate that our proposed methods with the encoder-side updating algorithm achieve the state-of-the-art performance.
translated by 谷歌翻译
Recently, there has been increasing interest in synthesizing data to improve downstream text-to-SQL tasks. In this paper, we first examined the existing synthesized datasets and discovered that state-of-the-art text-to-SQL algorithms did not further improve on popular benchmarks when trained with augmented synthetic data. We observed two shortcomings: illogical synthetic SQL queries from independent column sampling and arbitrary table joins. To address these issues, we propose a novel synthesis framework that incorporates key relationships from schema, imposes strong typing, and conducts schema-distance-weighted column sampling. We also adopt an intermediate representation (IR) for the SQL-to-text task to further improve the quality of the generated natural language questions. When existing powerful semantic parsers are pre-finetuned on our high-quality synthesized data, our experiments show that these models have significant accuracy boosts on popular benchmarks, including new state-of-the-art performance on Spider.
translated by 谷歌翻译
作为多媒体信息检索中越来越流行的任务，视频瞬间检索（VMR）旨在根据给定的语言查询从未修剪视频中定位目标时刻。以前的大多数方法都在很大程度上取决于众多手动注释（即瞬间边界），在实践中获取非常昂贵。此外，由于不同数据集之间的域间隙，直接将这些预训练的模型应用于看不见的域，这会导致显着的性能下降。在本文中，我们专注于一项新任务：跨域VMR，其中一个域中完全注重数据集（````源域'''），但是感兴趣的域（``目标域''）仅包含未通知的数据集。据我们所知，我们介绍了有关跨域VMR的第一项研究。为了解决这一新任务，我们提出了一个新型的多模式跨域比对（MMCDA）网络，以将注释知识从源域转移到目标域。但是，由于源和目标域之间的域差异以及视频和查询之间的语义差距，直接将经过训练的模型应用于目标域通常会导致性能下降。为了解决这个问题，我们开发了三个新型模块：（i）域对齐模块旨在使每种模式的不同域之间的特征分布对齐； （ii）跨模式对齐模块旨在将视频和查询特征映射到关节嵌入空间中，并将目标域不同模态之间的特征分布对齐； （iii）特定的比对模块试图获得特定帧与给定查询之间的细粒度相似性以进行最佳定位。通过共同训练这三个模块，我们的MMCDA可以学习域不变和语义一致的跨模式表示。
translated by 谷歌翻译
多用户延迟约束调度在许多现实世界应用中都很重要，包括无线通信，实时流和云计算。然而，它提出了一个关键的挑战，因为调度程序需要做出实时决策，以确保没有系统动力学的先前信息，这可能是时间变化且难以估算的。此外，许多实际情况都遭受了部分可观察性问题的影响，例如，由于感应噪声或隐藏的相关性。为了应对这些挑战，我们提出了一种深入的强化学习（DRL）算法，称为Recurrent Softmax延迟深层双重确定性策略梯度（$ \ Mathtt {RSD4} $），这是一种基于数据驱动的方法，基于部分观察到的Markov决策过程（POMDP）配方。 $ \ mathtt {rsd4} $分别通过拉格朗日双重和延迟敏感的队列保证资源和延迟约束。它还可以通过复发性神经网络（RNN）启用的记忆机制有效地解决部分可观察性，并引入用户级分解和节点级别的合并以确保可扩展性。对模拟/现实世界数据集的广泛实验表明，$ \ mathtt {rsd4} $对系统动力学和部分可观察到的环境是可靠的，并且在现有的DRL和非基于DRL的方法上实现了卓越的性能。
translated by 谷歌翻译
手语制作（SLP）旨在将口语语言自动转化为符号序列。 SLP的核心过程是将符号光泽序列转换为其相应的标志姿势序列（G2P）。大多数现有的G2P模型通常以自回归方式执行这种条件的远程生成，这不可避免地导致错误的积累。为了解决这个问题，我们提出了一种量化量子序列序列的生成的矢量量化扩散方法，称为poseVQ扩散，这是一种迭代性非自动入学方法。具体而言，我们首先引入量化量化变量自动编码器（姿势VQVAE）模型，以表示姿势序列作为一系列潜在代码。然后，我们通过最近开发的扩散体系结构的扩展来对潜在离散空间进行建模。为了更好地利用时空信息，我们介绍了一种新颖的体系结构，即CodeUnet，以在离散空间中生成更高质量的姿势序列。此外，利用学习的代码，我们开发了一种新型的顺序k-nearest-neighbours方法，以预测相应的光泽序列的姿势序列的可变长度。因此，与自回旋G2P模型相比，我们的模型具有更快的采样速度，并产生明显更好的结果。与以前的非自动入学G2P方法相比，PoseVQ扩散通过迭代改进改善了预测的结果，从而在SLP评估基准上获得了最新的结果。
translated by 谷歌翻译
回声状态网络（ESN）是一种经常性神经网络，由固定的储层组成，其中神经元随机连接和递归连接，仅通过训练输出连接权重才能获得所需的输出。一阶减少和控制误差（力）学习是一种在线监督培训方法，可以将ESN的混乱活动变成指定的活动模式。本文提出了一种基于递归最小二乘的复合力学习方法，以训练初始活动自发性混乱的ESN，其中采用动态回归器扩展和内存数据开发的复合学习技术来增强参数收敛。提出的方法应用于基准问题，以预测Mackey-Glass系统产生的混沌时间序列，而数值结果表明，与现有方法相比，它显着改善了学习和预测性能。
translated by 谷歌翻译
链接预测是图神经网络（GNN）的重要应用。链接预测的大多数现有GNN基于一维Weisfeiler-Lehman（1-WL）测试。 1-wl-gnn首先通过迭代的相邻节点特征来计算中心，然后通过汇总成对节点表示来获得链接表示。正如先前的作品所指出的那样，这两步过程会导致较低的区分功能，因为自然而然地学习节点级表示而不是链接级别。在本文中，我们研究了一种完全不同的方法，该方法可以基于\ textit {二维WEISFEILER-LEHMAN（2-WL）测试直接获得节点对（链接）表示。 2-WL测试直接使用链接（2个小说）作为消息传递单元而不是节点，因此可以直接获得链接表示。我们理论上分析了2-WL测试的表达能力以区分非晶状体链接，并证明其优越的链接与1-WL相比。基于不同的2-WL变体，我们提出了一系列用于链路预测的新型2-WL-GNN模型。在广泛的现实数据集上进行的实验证明了它们对最先进的基线的竞争性能以及优于普通1-WL-GNN的优势。
translated by 谷歌翻译
收集足够标记的数据以建立人类活动识别（HAR）模型是昂贵且耗时的。对现有数据的培训通常会使模型偏向于培训数据的分布，因此该模型可能会在具有不同分布的测试数据上执行。尽管现有的转移学习和域适应性的努力试图解决上述问题，但他们仍然需要访问目标域上的未标记数据，这在实际情况下可能是不可能的。很少有作品注意训练一个模型，该模型可以很好地概括为HAR看不见的目标域。在本文中，我们提出了一种新的方法，称为可推广跨域HAR的语义歧视混合（SDMIX）。首先，我们介绍了语义感知的混音，该混音考虑了活动语义范围，以克服域差异带来的语义不一致。其次，我们引入了较大的利润损失，以增强混合歧视，以防止虚拟标签带来的错误分类。在五个公共数据集上进行的综合概括实验表明，我们的SDMIX基本上优于最先进的方法，其平均准确度提高了跨人员，交叉数据库和交叉位置HAR的平均准确性6％。
translated by 谷歌翻译
关于现实生活知识图（KGS）的多跳上推理是一个高度挑战的问题，因为传统的子图匹配方法无法处理噪音和缺失信息。为了解决这个问题，最近已经引入了一种有希望的方法，该方法基于将逻辑查询和kgs共同嵌入到一个低维空间中以识别答案实体。但是，现有的提案忽略了KGS中固有可用的关键语义知识，例如类型信息。为了利用类型信息，我们提出了一种新颖的类型感知消息传递（TEMP）模型，该模型可以增强查询中的实体和关系表示形式，并同时改善概括，演绎和归纳推理。值得注意的是，Temp是一种插件模型，可以轻松地将其纳入现有的基于嵌入的模型中以提高其性能。在三个现实世界数据集上进行了广泛的实验证明了温度的有效性。
translated by 谷歌翻译